D^3-MOPD: Adaptive Dynamic Domain ScheDuling for Efficient Multi-Teacher Distillation
D^3-MOPD：自适应动态领域调度的高效多教师蒸馏
🧭 多教师蒸馏 · 在线动态调度
AllSpark Team
提出零开销动态调度器，复用每领域reverse-KL信号在线调整多教师蒸馏的数据混合比例，大幅提升收敛效率与性能
📌 工作参考价值（4 点）
- 借鉴 per-domain loss/KL 轨迹作为在线调度信号：在多任务/多域推荐模型（如首页推荐、搜索、广告域联合训练）中，定期追踪各任务的收敛速度与剩余提升空间，动态调整采样比例，避免固定混合导致快任务过拟合、慢任务欠训练。
- 使用 off-process 异步 watcher 实现零开销调度：不侵入训练主循环，适合在现有训练框架中轻量集成，无需改动核心代码即可获得收益。
- 调度策略可迁移到多场景 LLM 微调：当不同领域数据收敛速度差异大时，优先分配资源给“难但可学”的领域，减少已饱和领域的采样，能显著降低达到目标性能所需的训练步数。
- 结论“领域越多、收敛模式差异越大，动态调度收益越大”提示：在电商多域多目标场景下，随着接入业务域增多，这类自适应调度可能带来超线性训练效率提升。